Các nhà khoa học đầu tiên xác định được khối lượng nguyên tử tương đối là John Dalton và Thomas Thomson giữa 1803 và 1805 và Jöns Jakob Berzelius giữa 1808 và 1826. Khối lượng nguyên tử tương đối ban đầu được định nghĩa so với khối lượng của nguyên tố nhẹ nhất, hidro, được tính là 1.00, và trong những năm 1820 giả thuyết Prout cho rằng khối lượng nguyên tử của tất cả nguyên tố là một bội số của khối lượng nguyên tử hidro. Tuy nhiên, Berzelius sớm chứng minh rằng điều này là sai, và với một số nguyên tố như clo, khối lượng nguyên tử tương đối vào khoảng 35.5, nằm gần như chính giữa hai bội số nguyên của khối lượng hidro. Dù vậy, sau này, điều này được chứng minh là do hỗn hợp của nhiều đồng vị, còn nguyên tử khối của đồng vị nguyên chất, hay nuclit, là bội số của khối lượng hidro với sai số trong khoảng 1%.

Trong thập kỷ 1860, Stanislao Cannizzaro hoàn thiện khối lượng nguyên tử tương đối bằng cách dùng định luật Avogadro (đặc biệt là tại Hội nghị Karlsruhe năm 1860). Ông đưa ra một định luật để xác định khối lượng nguyên tử tương đối của các nguyên tố: lượng chất khác nhau của cùng một nguyên tố chứa trong những phân tử khác nhau là các bội số nguyên của trọng lượng nguyên tử và xác định khối lượng nguyên tử và phân tử tương đối qua việc so sánh mật độ hơi của một hỗn hợp khí chứa phân tử của một hay nhiều nguyên tố cần đo đạc.[3]

Trong thế kỉ 20, trước những năm 1960 các nhà hóa học và vật lý sử dụng hai thang đo nguyên tử khối khác nhau. Các nhà hóa học dùng "đơn vị nguyên tử khối" (amu) sao cho hỗn hợp tự nhiên các đồng vị của oxi có khối lượng nguyên tử là 16, trong khi các nhà vật lý gán con số 16 làm nguyên tử khối của đồng vị oxi phổ biến nhất (16O, gồm 8 proton và 8 neutron). Tuy nhiên, vì oxi-17 và oxi-18 cũng có trong tự nhiên, điều này dẫn đến hai thang đo khác nhau cho khối lượng nguyên tử. Thang đo thống nhất dựa trên cacbon-12, 12C, đáp ứng nhu cầu của các nhà vật lý về thang đo dựa theo một đồng vị duy nhất, trong khi vẫn có giá trị gần bằng thang đo của các nhà hóa học.

Cụm từ trọng lượng nguyên tử đang dần bị loại bỏ và thay thế bằng khối lượng nguyên tử tương đối, trong đa số trường hợp. Sự thay đổi thuật ngữ này có nguồn gốc từ những năm 1960 và đã gây ra nhiều tranh cãi trong cộng đồng khoa học, và do việc sử dụng đơn vị khối lượng nguyên tử và ý kiến rằng "weight" có phần không phù hợp. Một số người vẫn muốn giữ cụm từ "trọng lượng nguyên tử" với nguyên nhân chính là cụm từ "trọng lượng nguyên tử" vẫn được người trong ngành hiểu rõ, còn cụm từ "khối lượng nguyên tử" đã được sử dụng và cụm từ "khối lượng nguyên tử tương đối" có thể bị nhầm lẫn với khối lượng đồng vị tương đối (khối lượng của một nguyên tử của một nuclit, so với 1/12 khối lượng một nguyên tử cacbon-12; xem phần trên).

Năm 1979, để giải quyết mâu thuẫn, cụm từ "khối lượng nguyên tử tương đối" được coi là đồng nghĩa cho trọng lượng nguyên tử. Hai mươi năm sau thứ tự của chúng đã bị đảo ngược, và "khối lượng nguyên tử tương đối" trở thành cụm từ được ưa chuộng. Tuy nhiên, cụm từ "khối lượng nguyên tử chuẩn" (chỉ khối lượng nguyên tử của các mẫu thử được chuẩn hóa) vẫn được giữ nguyên.[4]